Machine Learning Model Quantization এবং Pruning গাইড ও নোট

Model Quantization এবং Pruning হল মডেল অপ্টিমাইজেশনের দুটি গুরুত্বপূর্ণ কৌশল, যা ডিপ লার্নিং মডেলগুলিকে আরও দ্রুত এবং কম সম্পদ ব্যবহারের জন্য উন্নত করে। এই দুটি কৌশল মডেলের আকার ছোট করে এবং ইনফারেন্সের সময় (ফিচার এক্সট্রাকশন বা প্রেডিকশন) কম্পিউটেশনাল খরচ কমায়, বিশেষ করে যখন মডেলটি মোবাইল বা এমবেডেড ডিভাইসে চালানো হয়।

নিচে Model Quantization এবং Pruning এর বিস্তারিত আলোচনা করা হলো।

১. Model Quantization

Model Quantization হল একটি প্রক্রিয়া যেখানে মডেলের প্যারামিটার (যেমন, ওজন এবং বায়াস) এবং/অথবা ইনপুট/আউটপুট ভ্যালুগুলোকে কম পজিশনাল প্রেসিশনে রূপান্তরিত করা হয়, যেমন 32-বিট ফ্লোট থেকে 8-বিট ইনটিজার বা 16-বিট ফ্লোটে। এতে মেমরি এবং গণনার জন্য প্রয়োজনীয় শক্তি কমে আসে, তবে মডেলের পারফরম্যান্সে তেমন কোনো ক্ষতি হয় না।

Model Quantization এর প্রধান উপকারিতা:

• মেমরি সঞ্চয়: কম বিটে ওজন ও আউটপুট রূপান্তরিত করলে মডেলটির মেমরি প্রয়োজনীয়তা উল্লেখযোগ্যভাবে কমে যায়।
• দ্রুত ইনফারেন্স: কম বিট ডেটা ব্যবহারের ফলে ইনফারেন্সের সময় দ্রুত হয়, বিশেষ করে হার্ডওয়্যার অপটিমাইজেশনের জন্য (যেমন, CPU বা GPU)।
• নেটওয়ার্ক ব্যান্ডউইথ কমানো: সিস্টেমে ডেটা পাঠানোর জন্য ব্যান্ডউইথ কম ব্যবহৃত হয়, যা বিশেষভাবে ক্লাউড বা এমবেডেড ডিভাইসে গুরুত্বপূর্ণ।

Quantization এর ধরণ:

1. Weight Quantization: মডেলের সমস্ত ওজন বা প্যারামিটার কম বিটে রূপান্তরিত করা হয় (যেমন, 32-বিট ফ্লোট থেকে 8-বিট ইনটিজার)।
2. Activation Quantization: ইনপুট বা আউটপুট ডেটার মানও কম বিটে রূপান্তরিত করা হয়, যা আউটপুটের মাপকে ছোট করে।

Quantization পদ্ধতি:

1. Post-training Quantization: মডেল প্রশিক্ষণ সম্পন্ন হওয়ার পর, আমরা এটি কম বিটে রূপান্তরিত করি।
2. Quantization-aware Training: মডেল প্রশিক্ষণের সময়ই কম বিটের রূপান্তর করে, যাতে মডেল সঠিকভাবে শিখতে পারে এবং ইনফারেন্সের সময় পারফরম্যান্সে তেমন কোনো পার্থক্য না আসে।

উদাহরণ (PyTorch):

import torch
import torch.quantization

# একটি কাস্টম মডেল উদাহরণ
model = torch.hub.load('pytorch/vision', 'resnet18', pretrained=True)

# Quantization প্রক্রিয়া
model.eval()
model = torch.quantization.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

এখানে, quantize_dynamic ব্যবহার করে মডেলটির Linear লেয়ারগুলির জন্য ডাইনামিক কোয়ান্টাইজেশন সম্পন্ন করা হয়েছে।

২. Model Pruning

Model Pruning হল একটি কৌশল, যেখানে মডেলটির কিছু অংশ (যেমন, নোড, লেয়ার, বা ওজন) সরানো হয়, যা মডেলের পারফরম্যান্সে তেমন কোনো প্রভাব ফেলবে না। প্রুনিংয়ের মাধ্যমে আমরা অপ্রয়োজনীয় প্যারামিটার বা কনেকশন সরিয়ে মডেলটি ছোট এবং আরও দক্ষ করে তুলি।

Model Pruning এর প্রধান উপকারিতা:

• মেমরি সঞ্চয়: কিছু অংশ সরিয়ে দেওয়া হলে মডেলের মেমরি প্রয়োজনীয়তা কমে যায়।
• দ্রুত ইনফারেন্স: প্রুনিংয়ের ফলে কম প্যারামিটার থাকার কারণে ইনফারেন্স গতি বাড়ে।
• কম্পিউটেশনাল দক্ষতা: মডেল কম জটিল হওয়ায় কম্পিউটেশনাল খরচ কমে।

Pruning এর ধরণ:

1. Weight Pruning: মডেলের ওজনের মধ্যে কিছু ছোট মান (যেমন, 0 এর কাছে) সরানো হয়, যেগুলির কোন প্রভাব পড়ে না।
2. Neuron Pruning: কিছু নিউরন বা নোড সরানো হয়, যাতে মডেলের আউটপুট অক্ষুণ্ন থাকে।
3. Layer Pruning: পুরো লেয়ার বা চ্যানেল সরানো হয় যা কম পারফরম্যান্স যোগ করে।

Pruning পদ্ধতি:

1. Unstructured Pruning: একটি ওজন বা নিউরন কে সরানো হয়, তবে এর অবস্থান নির্দিষ্ট নয়।
2. Structured Pruning: সম্পূর্ণ লেয়ার বা চ্যানেল সরানো হয়, যা মডেলটির আর্কিটেকচার পরিবর্তন করে।

Pruning এর উদাহরণ (PyTorch):

import torch
import torch.nn.utils.prune as prune

# একটি সিম্পল মডেল উদাহরণ
model = torch.hub.load('pytorch/vision', 'resnet18', pretrained=True)

# প্রুনিং (weight pruning)
prune.random_unstructured(model.fc, name='weight', amount=0.3)

এখানে, prune.random_unstructured ব্যবহার করে fc লেয়ারের ওজনের 30% এলোমেলোভাবে সরানো হয়েছে।

৩. Pruning এবং Quantization এর মধ্যে পার্থক্য

সারাংশ

Model Quantization এবং Pruning দুটি শক্তিশালী টুল, যা মডেলকে ছোট এবং দ্রুত করতে সাহায্য করে। Quantization পদ্ধতিতে ইনপুট, আউটপুট বা প্যারামিটারগুলিকে কম বিটে রূপান্তর করা হয়, যাতে মেমরি এবং কম্পিউটেশনাল দক্ষতা বৃদ্ধি পায়। অন্যদিকে, Pruning হল অপ্রয়োজনীয় প্যারামিটার বা লেয়ার সরানোর প্রক্রিয়া, যাতে মডেলটি দ্রুত এবং কম মেমরি ব্যবহার করে কাজ করতে পারে। এই দুটি কৌশল মডেলকে কম্পিউটেশনাল দক্ষতা বাড়ানোর জন্য ব্যবহার করা হয়, বিশেষত মোবাইল বা এমবেডেড ডিভাইসে ইনফারেন্সের জন্য।